The information geometry of large language models is shared, learned, and controllable
大语言模型的信息几何是共享、可学习且可控的
🧭 LLM 信息几何与控制
Department of Physics and Astronomy, University College London (UCL) · London Centre for Nanotechnology
用 Fisher-Rao 输出几何揭示 LLM 共享结构并给出最小扰动局部控制方法
📌 工作参考价值（4 点）
- 做 LLM 推荐/搜索时，若要对模型进行编辑/steering/微调，用输出概率的 Fisher-Rao 几何做正则或自然梯度，能比 Euclidean 激活距离更少扰动无关行为，适合在多任务推荐/广告文案模型中做局部行为调整。
- 该几何下学到的控制更新可在 donor prompt 上学、迁移到 unseen prompts，类似可复用 prompt steering；可用于电商 query 改写、营销文案风格控制，同时保持参考 prompt 行为稳定。
- 共享的输出几何支持语义类别迁移，跨 Transformer/SSM/RNN 架构一致，说明可以基于输出分布对齐做跨模型蒸馏或跨域迁移，而不是强求激活空间对齐。
- 预训练语料统计可预测 held-out fact acquisition，提示在训练推荐/广告大模型时，可监控语料侧统计指标提前判断知识/事实掌握，减少昂贵评估。